Diffusion Language Model for Recommendation
面向推荐的离散扩散语言模型
🧭 生成式推荐 · 离散扩散语言模型 ★ 深度解读
The Hong Kong Polytechnic University · Tencent Inc.
提出离散扩散替代自回归生成，通过迭代去噪和协同感知 token 化实现更优推荐
📌 工作参考价值（4 点）
- 推荐生成范式转换：在需要生成商品集合或预测下一个交互对象的场景中，考虑用离散扩散替代自回归。扩散的迭代去噪可纠正早期错误，且双向建模更能捕捉 item 间的全局依赖，尤其适用于行为顺序含有噪声的电商推荐。
- 协同感知 tokenization 设计：借鉴 CAST 的多跳随机量化思路，用 GNN 提取用户/商品的协同信号，通过温度调控的多码本随机映射生成离散 token，可保留协同相似性，与 LLM 集成时比单纯 ID 或文本摘要更有效。
- 课程式微调策略：在 LLM 推荐微调中，可先采用 item 级掩蔽对齐（同时掩蔽 token 和文本描述）来建立离散 token 与语义的对应，再过渡到 token 级掩蔽并引入偏好对比损失，逐步从语义理解迁移到推荐任务。
- 投票式推理稳定化：在扩散推理阶段，不丢弃中间预测，而是累积各步 log-prob 进行投票，对稳定位置早停，在不确定性高的位置融合更多信息，可提升推荐生成的鲁棒性和一致性，也可用于 interpretable 推荐或多轮交互式推荐。